#sparse autoencoders

5 篇

When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

结构化稀疏自编码器实现跨模态概念一致学习

🧭 多模态可解释性 · 结构化稀疏自编码

Zhejiang University · Nanyang Technological University

在视觉语言模型中，通过图像块分组与结构化稀疏正则化，解决稀疏自编码器概念碎片化问题，提升跨模态概念一致性与单义性

📌 工作参考价值（4 点）

对电商/推荐多模态模型（如商品图文理解）的依赖时，S2AE 可作为特征解释工具，分析不同模态下概念表示的一致性，辅助定位模型偏差或碎片化表达。
结构化稀疏正则化思路可迁移至其他需要分组特征选择的场景，例如用户行为序列按场景分组后，强制组内一致性与组间解耦，提升表示紧凑性。
跨模态概念一致性评估方法（mIoU、monosemanticity）可直接用于评估推荐系统中文本描述与图像特征共嵌入空间的对齐质量。
工程上，基于注意力相似度和空间邻近的图像块分组策略可启发商品图像多尺度特征的组织方式，提升视觉概念的可解释性与可控性。

Multimodal | 2026-07-09 | cs.LG | score 6/10

Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders

超越硬预算：稀疏正则化使Top-k稀疏自编码器更具可解释性

🧭 自编码器 · 稀疏正则化

Université Paris-Saclay, CentraleSupélec, France · Concordia University, Montreal, Canada · Mila–Quebec AI Institute, Montreal, Canada · Gustave Roussy, INSERM, Cancer Data Science Unit, France

为Top-k稀疏自编码器引入L1和L1/L2正则化，在不损失重建质量下提升特征单语义性

📌 工作参考价值（4 点）

若在推荐模型中使用稀疏自编码器学习可解释的用户/物品表示，可借鉴其 L1/L2 软正则化，使特征更聚焦、单语义性更强，提升表示的可解释性。
硬稀疏（Top-k）与软正则化结合的思想可迁移至其他需稀疏约束的场景，如注意力头的稀疏化或特征选择，避免固定预算带来的过拟合。
“仅对批内活跃单元施加正则”的技巧，在工程上可降低计算开销，适用于大规模推荐模型训练中稀疏约束的设计。
L1/L2 正则化使信息集中到更少隐变量，增强模型对推理时稀疏度变化的鲁棒性，有助于在生产环境中动态调整稀疏预算而不严重退化。

Training | 2026-06-25 | cs.LG | score 6/10

sparse autoencoders sparsity regularization monosemanticity Top-k interpretability vision foundation models

Forecasting With LLMs: Improved Generalization Through Feature Steering

通过特征导向提升LLM预测泛化能力

🧭 LLM 预测偏置纠正 · 特征干预

University of Chicago

用稀疏自编码器识别LLM的时间感知特征，通过放大这些特征减少预测中的前瞻偏差

📌 工作参考价值（4 点）

避免时序泄露：在推荐系统中用 LLM 做用户行为预测时，可通过类似特征干预方法，确保模型基于历史信息而非未来数据生成推荐，防止离线评估虚高。
特征发现与调控：利用稀疏自编码器探查模型内部是否包含“时间作弊”特征，并抑制这类特征，提升线上实时预测的可靠性。
生成式推荐中的因果干预：若使用 LLM 直接生成推荐列表（GenRec），可借鉴特征放大/抑制策略，强制模型依赖因果性更强的用户兴趣表征，减少流行度偏差。
领域迁移稳健性：论文展示跨领域干预有效，提示对电商多场景（如不同品类）下的 LLM 推荐，可共享时间感知特征，降低场景迁移时的重新训练成本。

LLM | 2026-06-25 | cs.LG | score 7/10

feature steering sparse autoencoders look-ahead bias forecasting LLM interpretability temporal reasoning

The Tell-Tale Norm: $\ell_2$ Magnitude as a Signal for Reasoning Dynamics in Large Language Models

ℓ2 范数：大语言模型推理动态的内在信号

🧭 LLM 推理内在信号与测试时控制 ★ 深度解读

Peking University · Zhejiang University

发现隐藏状态 ℓ2 范数是无需训练的模型内在推理强度指标，并基于此提出三种推理增强技术。

📌 工作参考价值（4 点）

在 LLM Agent 推理链中，可实时监控各层 ℓ2 范数，检测推理峰值以自适应分配计算资源（如递归计算或提前退出），在电商复杂查询解析、多步决策等场景提升效率。
对生成式推荐，ℓ2 范数可作为一种无监督的候选序列质量度量，替代外部打分或规则，用于生成式 item 推荐中的响应重排或生成路径选择。
三种推理增强技术（层递归、隐藏状态引导、响应选择）无需额外训练，可直接嵌入现有的推理引擎，为推理时 Agent 缩放提供轻量、数据无关的工具。
发现 ℓ2 范数与 SAE 推理特征激活高度正相关且具有因果性，提示在训练推荐/Agent 模型时，可加入 ℓ2 正则或约束来激励中间推理表征，提升模型对复杂任务的泛化。

LLM | 2026-06-04 | cs.CL | score 8/10

ℓ2 norm reasoning dynamics sparse autoencoders test-time scaling hidden state

Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies

潜在词项：密集检索器含有可轻易提取的BM25就绪齐普夫词汇

🧭 密集检索器稀疏词汇抽取与混合检索

Mixedbread AI · National Institute of Informatics · University of Tsukuba

提出Latent Terms，用稀疏自编码器从冻结密集检索器中提取稀疏词汇，直接用于BM25检索，效果匹配或超越原密集模型及SPLADE

📌 工作参考价值（4 点）

已有密集检索系统的电商搜索可直接复用：在冻结的双编码器上训练稀疏自编码器，得到BM25兼容的稀疏特征，无需重新训练即可搭建混合检索，提升召回率。
该方法无需任何稀疏检索监督或查询扩展目标，适用于商品描述等长文本场景，可利用现有密集模型快速构建倒排索引，降低工程成本。
提取出的稀疏词汇呈现齐普夫分布，可解释性强，便于分析模型学到了哪些重要词项，辅助构建更好的 query 理解和同义词表。
在 LIMIT 这类单向量检索易失败的任务上，Latent Terms 大幅优于原密集模型，说明其可弥补向量检索的精确匹配短板，适合高精度召回场景。

RecSys | 2026-05-28 | cs.IR | score 7/10

sparse autoencoders BM25 dense retrievers latent vocabulary neural IR